Dans le domaine de l'Intelligence Artificielle, la modélisation de séquences déplace l'attention des instantanés statiques vers les flux temporels. Les tâches standard d'apprentissage automatique supposent souvent que les points de données sont Indépendants et Identiquement Distribués (IID), ce qui signifie que l'ordre des échantillons n'influence pas le résultat.

La modélisation de séquences rejette explicitement cette hypothèse et repose sur trois piliers fondamentaux :

• Violation de l'Invariance par Permutation: Dans les données tabulaires, l'ordre des colonnes est arbitraire. Dans les séquences, l'ordre est la caractéristique principale. Intervertir « Le chat a mangé le rat » en « Le rat a mangé le chat » change fondamentalement la vérité fondamentale sémantique malgré des jetons identiques.
• Propriétés Autorégressives: Nous supposons qu'une observation au temps $t$ est mathématiquement conditionnée par son historique ($t-1, t-2, \dots, 1$). Cela nécessite des probabilités de transition pour capturer la manière dont l'information évolue.
• Mappage de Longueur Variable: Contrairement aux grilles fixes de pixels 28x28, les séquences telles que les phrases ou les ondes sismiques sont élastiques. Les modèles doivent traiter des entrées de longueur $N$ et produire des sorties de longueur $M$ en utilisant des paramètres cohérents.